Được rồi.
Tôi nghĩ đã đến lúc chúng ta thực sự bắt đầu thực hành một số kỹ năng
này thay vì chỉ nói về lý thuyết, bởi vì tôi biết hiện tại mọi thứ trông rất phức tạp.
Bạn nghĩ rằng để trở thành một chuyên gia học máy, bạn phải có bằng tiến sĩ và bạn phải thực sự
thông minh với toán học và thống kê.
Nhưng thường không thực sự như vậy.
Vì vậy, trong video này, tôi muốn cho bạn thấy ý nghĩa thực sự của việc học máy hoặc khoa học dữ liệu.
Vì vậy, trong học máy 101 này, chúng ta hãy nói về những gì một chuyên gia học máy làm.
Điều đầu tiên mà một người thường làm là nhập khẩu.
Dữ liệu.
Đó là, chúng ta có một số loại tệp CSV và chúng ta sẽ nhập dữ liệu đó và chúng ta biết cách làm điều đó
với Python, phải không?
Chúng tôi nhập tệp dữ liệu CSV để chúng tôi có thể sử dụng tệp đó trong chương trình của mình.
Và đừng lo lắng, đây là những bước mà chúng tôi thực sự sẽ chỉ cho bạn khi chúng tôi thực hiện các dự án sắp
tới của mình.
Vì vậy, điều đầu tiên là nhập dữ liệu.
Tiếp theo, chúng ta phải làm gì?
Chà, chúng tôi làm sạch dữ liệu.
Đó là, trong một thế giới lý tưởng, chúng ta có dữ liệu hoàn hảo.
Tất cả các cột, tất cả các hàng của tệp CSV đều được điền vào và mọi thứ đều hoàn hảo.
Nhưng đó thường không phải là trường hợp.
Đôi khi bạn bị thiếu nhãn, đôi khi bạn bị thiếu ô hoặc dữ liệu và đôi khi chúng tôi có dữ liệu không
sử dụng được thực sự rất tệ.
Vì vậy, lý tưởng nhất là chúng tôi làm sạch dữ liệu để khi chúng tôi sử dụng nó sau này, nó sẽ không gây ra bất kỳ lỗi nào hoặc
đưa ra các dự đoán xấu.
Bây giờ, số ba.
Một chuyên gia học máy làm gì?
Chà, chúng tôi chia nhỏ dữ liệu.
Và đây là một điều thú vị.
Chúng tôi thường chia dữ liệu thành những gì chúng tôi gọi là tập huấn luyện.
Và một bộ thử nghiệm.
Điều đó có nghĩa là gì?
Chà, việc chia nhỏ dữ liệu chỉ đơn giản là quyết định.
Giả sử chúng ta có 100 hàng trong Excel và chúng ta quyết định rằng 80 hàng sẽ là tập huấn luyện của chúng ta
trong khi chúng ta cho máy học từ đó.
Và sau đó 20 hàng cuối cùng sẽ là tập kiểm tra vì chúng ta phải cho máy biết câu
trả lời đúng hay sai.
Vì vậy, chúng tôi cần một cách để chúng tôi kiểm tra với dữ liệu hiện có trước đó của chúng tôi xem mô hình của chúng tôi là tốt hay xấu.
Một lần nữa, đây là điều mà chúng ta sẽ khám phá, nhưng thông thường bạn chia dữ liệu của mình, trang tính Excel của bạn thành một
tập hợp đào tạo, những gì chúng tôi sử dụng làm đầu vào và sau đó là tập kiểm tra, những gì chúng tôi sử dụng để kiểm tra đầu
ra của hàm học máy đó cho chúng tôi.
Và điều đó thực sự dễ thực hiện.
Chúng tôi chỉ quyết định, này, 80% dữ liệu sẽ được thiết lập đào tạo và 20% là thử nghiệm được thiết lập cho đến bây
giờ.
Ba điều này khá dễ dàng, phải không?
Và như chúng ta sẽ thấy, chúng khá dễ dàng.
Tiếp theo là chúng ta tạo một mô hình.
Được rồi.
Điều này nghe có vẻ thực sự, rất khó, phải không?
Chúng tôi vừa chuyển từ việc chia nhỏ dữ liệu bỗng nhiên chúng tôi đang tạo ra chức năng này, mô hình này mà chương trình
của chúng tôi tạo ra.
Nhưng điều buồn cười là, rất có thể những gì bạn làm khi tạo một mô hình là nhập một thuật toán.
Bạn sẽ không tự viết thuật toán từ đầu.
Thông thường, bạn sử dụng một thư viện như Psych Learn, mà chúng tôi thực sự sẽ sử dụng để chỉ đơn giản là nhập
và sau đó quyết định thuật toán bạn muốn sử dụng, như cây quyết định hoặc K hàng xóm gần nhất.
Và chúng ta sẽ thực sự xem cách thực hiện điều đó trong một bài tập sắp tới.
Vì vậy, điều đó thực sự tốt đẹp.
Ai đó đã xây dựng một thuật toán cho chúng tôi để tạo ra mô hình dựa trên tập huấn luyện của chúng tôi.
Và một trò đùa đang diễn ra là khi mọi người nghĩ về chuyên gia học máy, họ nghĩ về tất cả những phương trình
toán học mà con người làm.
Nhưng hầu hết mọi người chỉ đơn giản là nhập từ một thư viện, một thuật toán.
Đó là nó, một lớp lót.
Tiếp theo, bạn nghĩ chúng tôi làm gì?
Chà, chúng tôi kiểm tra đầu ra, phải không?
Chúng tôi tạo ra mô hình.
Đó là chức năng.
Chúng tôi có đầu vào, là tập huấn luyện, sau đó chúng tôi kiểm tra đầu ra của mô hình này với tập kiểm
tra của chúng tôi.
Vì vậy, tập hợp kiểm tra, chúng ta sẽ nói, này, đầu ra có khớp với những gì chúng ta mong đợi không?
Vì vậy, một khi chúng tôi kiểm tra đầu ra, chúng tôi phải làm gì?
Chà, chúng tôi cải thiện.
Vì vậy, rất có thể trong lần đầu tiên, nó sẽ không hoàn toàn đúng.
Vì vậy, dựa trên bộ thử nghiệm, chúng tôi nói rằng, chúng tôi có thể cải thiện điều gì đó.
Vì vậy, với tư cách là một chuyên gia học máy, bạn có thể cung cấp thêm thông tin đầu vào cho nó.
Đó có thể là một cột bổ sung trong tệp Excel.
Hoặc chúng tôi có thể muốn thay đổi mô hình hoặc thuật toán mà bạn đã sử dụng để tạo mô hình này.
Đó là nó.
Đây là sáu bước của những gì bạn làm và bạn chỉ cần lặp lại các bước này.
Bây giờ chúng ta sẽ quay lại những điều này và tôi sẽ liên kết đến điều này trong tài nguyên để bạn luôn có thể ghi nhớ nó
trong tâm trí của mình.
Nhưng ngay bây giờ, bạn chỉ cần học một cái gì đó thực sự, thực sự cơ bản.
Bạn xem Facebook tại đây.
Đây là cách họ chạy đường ống học máy của mình.
Và sơ đồ này bây giờ sẽ có ý nghĩa chỉ với sáu bước mà chúng ta đã nói đến.
Chúng tôi xác định mục tiêu của họ.
Đó là, những gì chúng ta muốn đạt được?
Chúng tôi thu thập dữ liệu.
Chúng tôi phân tích dữ liệu.
Đó là, chúng tôi làm sạch nó.
Chúng tôi chia nó thành dữ liệu đào tạo và dữ liệu thử nghiệm.
Sau đó, chúng tôi tạo mô hình và thử nghiệm với các thuật toán khác nhau, rồi cuối cùng chúng tôi kiểm tra dữ liệu
của mình, xem độ chính xác của nó dựa trên dữ liệu thử nghiệm của chúng tôi.
Và sau đó chúng tôi chỉ quay lại và thử những thứ khác nhau cho đến khi mô hình hoặc chức năng của chúng tôi phù hợp với những gì chúng tôi đã
xác định là mục tiêu.
Thật tuyệt phải không?
Bạn chỉ cần tìm hiểu cách thức hoạt động của cấu trúc máy học của Facebook.
Bây giờ, hãy để tôi hỏi bạn một câu trước khi tôi kết thúc video này.
Bạn nghĩ phần khó nhất của toàn bộ quá trình này là gì?
Tôi đã làm cho nó nghe rất, rất dễ dàng.
Đúng.
Hãy suy nghĩ về nó.
Sẵn sàng cho câu trả lời.
Phần khó nhất thực sự là lấy dữ liệu vì chúng ta càng có nhiều dữ liệu, chúng ta càng có nhiều đầu vào tốt hơn, chúng ta
có thể có nhiều bộ đào tạo hơn để chúng ta có thể cải thiện mô hình.
Và đúng vậy, chúng ta có thể quyết định sử dụng thuật toán nào để tạo mô hình, sử dụng đầu vào nào trong tập huấn
luyện.
Nhưng càng có nhiều dữ liệu, chúng tôi càng có nhiều lựa chọn với tư cách là chuyên gia học máy.
Và thực sự rất khó để thu thập dữ liệu tốt hay cái mà chúng ta gọi là tập dữ liệu.
Và các công ty như Google và Facebook thực sự rất có giá trị vì họ là những công ty duy nhất có thể thu
thập nhiều dữ liệu đó.
Và đó là lý do tại sao học máy được tiên phong bởi các công ty có bộ dữ liệu lớn này.
Bởi vì bạn và tôi chỉ đơn giản là không có đủ dữ liệu để thực sự làm cho việc học máy trở nên đáng giá.
Hầu hết các công ty không thực sự cần học máy hoặc thậm chí có thể triển khai học máy tốt vì họ
không có đủ dữ liệu.
Bạn cần các công ty lớn như Amazon sử dụng máy học vì họ là những công ty duy nhất có quyền truy cập vào dữ
liệu đó.
Và đó là lý do tại sao chúng rất có giá trị.
Họ có thể chia sẻ mô hình của họ.
Họ không quan tâm, nhưng họ thường giữ dữ liệu của mình ở chế độ riêng tư vì đó là điều mang lại cho họ lợi
thế cạnh tranh.
Được rồi.
Vì vậy, bây giờ chúng ta đã biết các bước của học máy.
Tiếp theo là tìm hiểu những công cụ nào chúng ta có thể sử dụng để thực hiện các bước này để cuối cùng chúng ta có thể bắt đầu
học và xây dựng các mô hình học máy của riêng mình.
Hẹn gặp lại các bạn trong phần tiếp theo.
- Tạm biệt.